#multimodal embeddings

3 篇

CAMIE: Co-Engagement-Aware Multimodal Item Embeddings for Snap Dynamic Product Ads Retrieval

CAMIE：面向 Snap 动态商品广告检索的协同参与多模态商品嵌入

🧭 多模态商品嵌入 · 协同参与对比学习召回 ★ 深度解读

Snap Inc.

用用户旅程中的共同参与对微调 LLM/MLLM 骨干，得到统一多模态商品嵌入并上线 Snap DPA

📌 工作参考价值（4 点）

用共同参与 pair 替代内容相似度监督：在电商/广告 I2I 召回中，从用户 Session 或归因窗口挖掘共现商品对（view/click/加购/购买均可），用对称 in-batch InfoNCE 微调商品编码器，比单纯内容相似度更贴近转化目标。业界常纠结“只保留高意图事件”，但该文证明：全漏斗事件带来的训练规模增益（+8.9% R@10）大于只保留加购/购买的事件纯度增益（+1.6%），可优先保规模。
一个 checkpoint 服务多模态 / 纯文本 / 纯图片三种召回面：通过 renderer 控制字段（image/title/brand/description/category），同一个 MLLM 骨干能同时支持多模态和文本检索。在 Snap 场景文本-only 仅比专用文本微调差 1.1pp R@10，可直接替换独立文本编码器；但纯图片 serving 明显弱于专门视觉塔，电商图像替代类召回建议保留专用 image encoder。
行为监督的增益大于骨干升级：对照实验表明，在相同的 co-engagement pair、目标函数、负样本、LoRA 设置下，SigLIP2 和 CLIP 双塔也能达到接近 CAMIE 的召回水平，说明业务里如果已有轻量双塔，优先把训练信号换成共同参与 pair，比急着换 LLM 骨干收益更稳；MLLM 的增量主要在文本侧和训练 headroom。
工程部署可复用：离线用 512 维 embedding，线上截取前 128 维匹配现有 ANN 索引，控制索引成本；对百万级商品目录用 10M 训练对即可达到较好效果，训练规模扩展到 100M 对进一步提升，适合电商场景逐步扩量。

RecSys | 2026-08-31 | cs.IR | score 10/10

PUMA: Post-Hoc Sparsification of Universal Multimodal Embeddings for Efficient Retrieval

通用多模态嵌入的事后稀疏化：PUMA 实现高效检索

🧭 多模态嵌入事后稀疏化与高效检索

Politecnico di Bari, Italy · Sapienza University of Rome, Italy · ISTI–CNR, Pisa, Italy · University of Pisa, Italy

用稀疏自编码器将通用多模态嵌入事后转化为紧凑稀疏码，不重训骨干，存储降 8-16 倍、检索最高加速 25 倍

📌 工作参考价值（4 点）

电商多模态检索（如商品图搜、文搜图、组合查询）可直接在现有通用 embedder 之后挂接稀疏自编码器，把 dense FP32 向量压缩为少量非零分量，线上索引存储降低 8-16 倍，大候选池精确打分提速约 25 倍，适合对延迟和内存敏感的召回场景。
预训练阶段先让稀疏编码保持 dense 点积几何（重建内积），再针对检索损失微调，这个两阶段 recipe 可以迁移到商品 embedding 压缩：先用自监督对齐 dense 相似度，再用业务正负样本微调稀疏表示，避免直接端到端训练导致语义漂移。
注意两个失败模式：pre-TopK 支持不足（稀疏码中没有保留足够多与 query 最相关的维度）和 active support 与检索错位，意味着在业务落地时要监控稀疏化后 TopK 召回与 dense 的覆盖差异，必要时通过增加预 TopK 约束或检索微调时加入 ranking 损失修正。
若已有稠密 embedding 模型不想重训，PUMA 提供了一种 post-hoc 压缩路径：冻结 backbone，只训练轻量稀疏编码器，对已有电商图文 embedding 服务可以低成本升级，减少向量数据库存储成本，适合在召回/粗排阶段做候选快速扫描。

Multimodal | 2026-08-26 | cs.IR | score 7/10

sparse retrieval multimodal embeddings post-hoc sparsification efficient retrieval autoencoder vector compression

Multimedia Asset Personalization via Multimodal Embeddings at Netflix

Netflix 多媒体资产个性化：多模态嵌入解决冷启动并统一画布

🧭 多模态嵌入 · 冷启动资产个性化 ★ 深度解读

Netflix · Cohere

将 CLIP 与三模态 MediaFM 嵌入拼入双塔 item tower，统一画布模型并显著提升冷启动与搜索效果

📌 工作参考价值（4 点）

冷启动创意/素材优选：电商/广告中的商品主图、广告创意、短视频封面等，可以把 CLIP 类预训练 embedding 作为冻结特征拼进 item tower，不改双塔架构，即可获得跨类目、跨场景的知识迁移，特别适合新商品新创意。
多场景模型统一与数据平衡：多个展示位/画布若分开训练，可考虑合并为单一模型，并用 reward-based weighting 按长期价值给样本加权，而非手调 per-scene 权重；但必须同时注入内容特征，单独统一模型或单独内容嵌入在线可能都不显著。
评估与筛选：用 explore data 记录精确 propensity，IPS 离线指标更能预测线上；构建 popularity winner 线性 probe 作为廉价 gate，先筛选 embedding 版本再上端到端 A/B，可大幅降低实验成本。
工程部署：precompute-first 三层预计算：素材 embedding、item tower 输出、个性化选择都离线/日更算好，在线只做 KV lookup，多模态模型不进请求路径；只对 top N 候选物料化，平衡成本与覆盖。

RecSys | 2026-08-18 | cs.IR | score 8/10

multimodal embeddings cold-start two-tower CLIP MediaFM IPS